La aplicación Tianyancha muestra que Tencent Technology (Shenzhen) Co., Ltd. solicitó recientemente una patente denominada "Método de entrenamiento de modelos de lenguaje extenso, dispositivo, equipo informático y medio de almacenamiento". El resumen de esta patente revela que el método proporciona más información aprendible para el modelo durante el entrenamiento introduciendo un primer texto de resumen y un segundo texto de resumen. Según la descripción de la patente, la cantidad de información contenida en el primer y segundo texto de resumen es diferente, y el primer texto de resumen también incluye oraciones correctas e incorrectas. Mediante el uso de estos dos textos para el mismo texto

Recientemente, Tencent Technology (Shenzhen) Co., Ltd. publicó en la aplicación Tianyancha una patente sobre un método de entrenamiento y dispositivos relacionados para modelos de lenguaje extenso. Esta patente, titulada "Método de entrenamiento, dispositivo, equipo informático y medio de almacenamiento para modelos de lenguaje extenso", tiene como objetivo mejorar la capacidad de aprendizaje y la precisión de los modelos de lenguaje extenso mediante un método de entrenamiento innovador. En el entrenamiento de modelos de lenguaje extenso, los métodos tradicionales a menudo dependen de un solo resumen de texto, lo que puede provocar un sobreajuste del modelo y afectar la precisión y la diversidad del contenido generado. Sin embargo, la nueva patente de Tencent...

En el campo de la investigación académica, la búsqueda de literatura es una tarea compleja e importante de obtención de información. Los investigadores necesitan la capacidad de manejar consultas complejas en áreas de conocimiento especializadas para satisfacer las necesidades de investigación detalladas. Sin embargo, las plataformas de búsqueda académica existentes, como Google Académico, a menudo tienen dificultades para manejar estas consultas de investigación complejas. Por ejemplo, una consulta especializada sobre el aprendizaje por refuerzo no estacionario que utiliza el método UCB requiere una capacidad de cálculo y análisis más potente. Además, los investigadores suelen dedicar mucho tiempo y esfuerzo a revisar manualmente una gran cantidad de trabajos académicos cuando realizan revisiones de la literatura.

Zhipu AI anunció recientemente la publicación de código abierto de su serie de modelos de lenguaje extenso y multimodales para dispositivos perimetrales, GLM-Edge. Esta iniciativa representa un intento significativo de la compañía por lograr una implementación real en escenarios de uso en dispositivos perimetrales. La serie GLM-Edge consta de cuatro modelos de diferentes tamaños: GLM-Edge-1.5B-Chat, GLM-Edge-4B-Chat, GLM-Edge-V-2B y GLM-Edge-V-5B, optimizados para plataformas móviles como teléfonos y vehículos, así como para plataformas de escritorio como PC.

En el mundo de la IA, los datos son como minas de oro, cuanto más abundantes, más brillantes. Recientemente, LLM360 lanzó un conjunto de datos impresionante, TxT360, diseñado específicamente para el entrenamiento de modelos de lenguaje extenso. Este coloso no solo incluye datos de texto de alta calidad de todos los sectores, sino que también ha pasado por una limpieza global a gran escala, culminando en 5,7 billones de tokens de alta calidad, ¡una verdadera "caja de herramientas de datos"! El encanto de TxT360 radica en su enorme escala y su alta calidad, superando a los existentes F

El rendimiento de los modelos de lenguaje extenso aumenta con el número de agentes instanciados. Múltiples modelos pequeños superan el rendimiento de un modelo grande. Los resultados experimentales muestran que la integración de múltiples modelos de lenguaje pequeños (LLM) puede alcanzar o incluso superar el rendimiento de los LLM más grandes. El artículo analiza la relación entre la mejora del rendimiento y la dificultad del problema. Los autores propusieron dos estrategias de optimización: muestreo y votación gradual, y muestreo y votación jerárquico.

Senadores estadounidenses instan a restringir el desarrollo de modelos de lenguaje extenso por parte de Amazon, Microsoft y Google. Warren argumenta que las grandes tecnológicas tienen demasiado poder en el campo de la inteligencia artificial. Se propone prohibir a las grandes tecnológicas el desarrollo de las tecnologías de inteligencia artificial más avanzadas. Se pide la desintegración de Google y Amazon, así como la limitación de sus actividades.

El ejecutivo de Microsoft, Eric Boyd, reveló que la compañía planea lanzar más modelos de lenguaje extenso para satisfacer las necesidades de los clientes empresariales. Boyd enfatizó que las aplicaciones de IA y los LLM de Microsoft son seguros y utilizables, pero las empresas que se centran en la generación de texto pueden desarrollarse más rápidamente. Microsoft ya utiliza modelos de OpenAI en sus productos, pero planea mantener su competitividad y posiblemente establecer relaciones con otras empresas. Esta medida responde a las críticas del CEO de Amazon sobre la limitación de los proveedores de servicios en la nube a un solo proveedor de modelos.

La startup suiza Lakera ha lanzado una API diseñada para proteger a las empresas de los ataques de indicaciones maliciosas en modelos de lenguaje extenso. A través del desarrollo de un juego interactivo llamado "Gandalf", Lakera ha creado un sistema de clasificación de ataques. Lakera también se enfoca en prevenir la filtración de datos privados o confidenciales al dominio público, y en filtrar contenido para asegurar que los LLMs no proporcionen información inapropiada para niños. El lanzamiento de la API de Lakera se produce en vísperas de la próxima promulgación de la Ley de IA de la Unión Europea.

Google DeepMind presenta el marco OPRO, que utiliza modelos de lenguaje extenso (LLM) para la optimización, utilizando descripciones en lenguaje natural para las soluciones. "Respiración profunda" se convierte en el mejor prompt, mejorando el rendimiento del modelo y haciendo que los investigadores reflexionen sobre cómo los modelos grandes responden a la retroalimentación positiva. OPRO también muestra potencial en problemas matemáticos, optimizando la regresión lineal, entre otros, ofreciendo una nueva perspectiva para la optimización de problemas descritos en lenguaje natural. La investigación valida la eficacia de la optimización de prompts en diferentes tareas, logrando mejoras significativas y mostrando un amplio potencial de aplicación.

AI2 ha publicado recientemente un conjunto de datos de código abierto llamado Dolma, que contiene 3 billones de tokens. Los datos de Dolma servirán de base para el modelo de lenguaje abierto OLMo que AI2 está desarrollando, cuyo lanzamiento está previsto para principios de 2024. El conjunto de datos Dolma proviene de una amplia gama de fuentes, incluyendo contenido web, publicaciones académicas, código y libros, y es el mayor conjunto de datos de este tipo disponible públicamente.